Hart sinh ngày 6 tháng 7 năm 1979 tại Philadelphia, Pennsylvania[2] và lớn lên trong một gia đình với người mẹ đơn thân, Nancy Hart, cùng với anh mình, Robert. Cha của anh, Henry Witherspoon,[5] một người nghiện cocain, luôn vào tù ra khám thường xuyên trong suốt thời thơ ấu của Kevin, và Kevin đã sử dụng sự hài hước như một cách để đối mặt với cuộc sống gia đình khó khăn của mình.

Sau khi tốt nghiệp trường Trung học George Washington, Hart đã học tại trường Cao đẳng Cộng đồng Philadelphia và chuyển đến thành phố New York.[6][7][8] Sau đó anh chuyển đến Brockton, Massachusetts, và tìm được một công việc bán giày tại đây.[8] Anh bắt đầu theo đuổi sự nghiệp diễn hài độc thoại sau khi biểu diễn trong một buổi tối dành cho nghệ sĩ nghiệp dư ở một câu lạc bộ tại Philadelphia.[9]